多方引导前景增强的行人重识别方法

TL;DR提出MGFE方法，通过掩码引导增强和自增强策略提升模型对行人前景的关注，结合瓶颈优化模块增大感受野，在Market1501和DukeMTMC上分别取得95%和88.3%的Rank-1准确率。

Abstract

行人重识别模型性能对背景环境因素过于依赖。本文通过系统实验验证了背景偏差的存在，并提出多方引导前景增强(MGFE)方法。该方法通过掩码引导增强和自增强策略提升模型对行人前景的关注，同时保留一定的背景信息，有效减轻对背景信息的依赖，增强模型泛化能力。

Method

公开数据集中训练集和测试集来自固定摄像头导致背景高度相似，模型可能误将背景相似的行人图像判定为相似图像。实验表明，仅凭背景信息模型Rank-1可达4.

核心思想是在保留背景信息的同时增强对前景的关注。通过引入行人掩码图作为额外输入，使用掩码引导增强(MGE)模块和自增强(SE)模块引导模型关注前景区域，结合瓶颈优化模块(BOM)通过空洞卷积增大感受野，在不增加参数的前提下提升性能。

MGE

掩码引导增强模块

将行人掩码图与中间层特征进行逐元素相乘，增强前景区域特征响应，使模型更关注行人前景信息。

自增强模块

对最高层特征计算通道间相似性矩阵，通过自注意力机制增强特征表示，捕获全局依赖关系。

BOM

瓶颈优化模块

由通道优化分支（GAP+FC调整通道权重）和感受野优化分支（1x1卷积+空洞卷积增大感受野）组成，在不增加参数的前提下提升特征质量。

MGFE网络在ResNet50骨干网络基础上，将BOM模块嵌入每个阶段的输出。多方引导分支包含MGE和SE两个模块：MGE在Stage2和Stage3使用掩码图增强中间层特征的前景区域响应；SE在Stage5通过自注意力增强全局特征。三个输出拼接后作为最终行人特征。

BOM模块由两个分支组成：通道优化分支通过GAP将特征压缩为通道描述向量，经两层FC学习通道权重；感受野优化分支通过1x1卷积降维后串联两个3x3空洞卷积增大感受野。两个分支输出经sigmoid激活后与输入特征进行残差连接。

背景影响实验是本文的重要贡献：使用Original/Foreground/Background三种图像分别训练和测试，系统验证了背景偏差的存在。仅用Background训练的模型Rank-1达18.4%（Market1501），证实背景确实包含识别信息。仅用Foreground训练的模型在Foreground测试集上Rank-1达90.6%，但Original上降至68.4%，说明前景是主要识别特征但背景也有辅助作用。

Results

Market1501

95.0%

Rank-1

+1.8% vs Baseline

Market1501

87.5%

mAP

+3.4% vs Baseline

DukeMTMC

88.3%

Rank-1

+3.0% vs Baseline

DukeMTMC

77.9%

mAP

+3.3% vs Baseline

方法	Market1501 Rank-1	Market1501 mAP	DukeMTMC Rank-1	DukeMTMC mAP
PCB	93.8	81.6	83.3	69.2
OSNet	94.8	84.9	87.6	73.5
DRL-Net	94.7	86.9	88.1	76.6
MGFE (Ours) ours	95.0	87.5	88.3	77.9

消融实验表明，MPG分支和BOM模块均能有效提升模型性能和泛化能力。在跨数据集迁移实验中，MGFE相比Baseline在Rank-1上提升3.3%~3.5%，验证了方法对背景变化的鲁棒性。在前景图像测试中，MGFE的Rank-1比Baseline高4.4%（Market1501），证明模型更关注前景信息。

Qualitative Results

Citation

@article{:/publisher/Zhejiang University Press/journal/Journal of Zhejiang University (Engineering Science)/59/5/10.3785/j.issn.1008-973X.2025.05.006,
  author = "刘俊婧,郑宛露,郭子强,王少荣",
  title = "多方引导前景增强的行人重识别方法",
  journal = "浙江大学学报（工学版）",
  year = "2025",
  volume = "59",
  number = "5",
  pages = "929-937",
  url = "http://bss.academax.com/publisher/Zhejiang University Press/journal/Journal of Zhejiang University (Engineering Science)/59/5/10.3785/j.issn.1008-973X.2025.05.006,
  doi = "https://doi.org/10.3785/j.issn.1008-973X.2025.05.006"
}